Tên gọi Nhật Bản bắt nguồn từ cách phiên âm Hán-Việt quốc hiệu viết bằng kanji (Hán tự) của nước này là 日本 (phát âm bằng tiếng Nhật là にっぽん - Nippon nghe (trợ giúp·thông tin) hoặc にほん - Nihon nghe (trợ giúp·thông tin)), với nichi (日, nichi?) đọc là Nhật ("Mặt Trời" hoặc "ngày") và hon (本, hon?) đọc là Bản ("nguồn gốc"). Hai chữ này khi kết hợp lại mang nghĩa "gốc của Mặt Trời" hay "Mặt Trời mọc" (do vị trí địa lý của nước này có thể nhìn thấy Mặt Trời mọc đầu tiên ở Đông Á, và cũng bởi tổ tiên trong tín ngưỡng theo truyền thuyết của họ là Nữ thần Mặt Trời Amaterasu). Nhiều quốc gia khác cũng vì nguyên do đó mà thường miêu tả Nhật Bản là "Đất nước Mặt Trời mọc". Một cách phiên âm Hán-Việt cũ của Nhật Bản là Nhật Bổn, ngày nay hiếm khi được sử dụng. Người dùng tiếng Việt thường xuyên gọi tắt tên của quốc gia này là Nhật. Người Nhật Bản gọi chính bản thân họ là Nihonjin (日本人 (Nhật Bản Nhân), Nihonjin?) và ngôn ngữ tiếng Nhật của họ là Nihongo (日本語 (Nhật Bản Ngữ), Nihongo?).

Nhật Bản còn có một mỹ danh trong cộng đồng người dùng tiếng Việt là "Xứ sở hoa anh đào", vì cây hoa anh đào (桜 (櫻) (Anh)/ さくら/ サクラ, sakura?) mọc trên khắp nước Nhật từ bắc xuống nam. Loài hoa "thoắt nở thoắt tàn" này được người Nhật đặc biệt yêu thích, phản ánh tính nhạy cảm, yêu cái đẹp, sống và chết đều quyết liệt của dân tộc họ. Một mỹ danh khác là "Đất nước hoa cúc" vì đóa hoa cúc 16 cánh giống như Mặt Trời đang tỏa chiếu là biểu tượng của Hoàng gia và là quốc huy Nhật Bản ngày nay. Nhật Bản còn được gọi là Phù Tang (扶桑, Phù Tang?), đề cập đến cây phù tang. Theo truyền thuyết cổ phương Đông, có một loài cây rỗng lòng gọi là Phù Tang hay Khổng Tang, là nơi thần Mặt Trời nghỉ ngơi trước khi du hành ngang qua bầu trời từ Đông sang Tây, do đó Phù Tang hàm nghĩa văn chương chỉ nơi Mặt Trời mọc.

Vào thế kỷ IV, Nhật Bản đã lấy tên nước là Yamato (大和 (やまと) (Đại Hòa), Yamato?), còn người Hán từ trước Công Nguyên đã gọi nước Nhật là Oa quốc (倭国, Oa quốc? nước lùn), người Nhật là Oa nhân (倭人, người lùn?), gọi cướp biển người Nhật trên Biển Hoa Đông thời nhà Minh là Oa khấu (倭寇, giặc lùn?). Trong Hán-Việt, chữ "oa" (倭, "oa"?) vẫn thường bị đọc nhầm là "nụy". Trước thời kỳ Heian, người Nhật vẫn chưa có chữ viết riêng và vẫn phải vay mượn chữ Hán nên Yamato được viết là wa (倭 (oa), wa?).[32] Về sau khi đã phát triển nên hệ thống ngôn ngữ cho riêng mình, người Nhật dùng hai chữ kanji 大和 (Đại Hòa) để ký âm chữ Yamato, thể hiện lòng tự tôn dân tộc. Năm 670, Yamato gửi một đoàn sứ bộ đến chúc mừng triều đình nhà Đường dưới thời vua Đường Cao Tông nhân dịp vừa bình định Triều Tiên, và từ đó đổi tên thành Nhật Bản (日本/ にっぽん, Nhật Bản?). Kể từ sau cuộc Duy tân Minh Trị cho đến khi kết thúc Chiến tranh thế giới thứ hai, quốc hiệu đầy đủ của Nhật Bản là Dai Nippon Teikoku (大日本帝國 (Đại Nhật Bản Đế quốc), Dai Nippon Teikoku?), nghĩa là "Đế quốc Đại Nhật Bản". Ngày nay quốc hiệu Nippon-koku hay Nihon-koku (日本国 (Nhật Bản Quốc), Nippon-koku hay Nihon-koku?) có ý nghĩa tương đương về mặt nghi thức, với chữ koku (国 (Quốc), koku?) nghĩa là "quốc gia", "nước" hay "nhà nước" thay thế cho một miêu tả dài về ý thức hệ của chính phủ đất nước. Tuy vậy thì chữ Wa (和 (Hòa), Wa?) hiện nay vẫn hay được sử dụng như là viết tắt cho Nhật Bản, ví dụ như Washitsu (和室 (Hòa Thất), Washitsu?) có nghĩa là "căn phòng kiểu Nhật", hay Wasei Eigo (和製英語 (Hòa Chế Anh Ngữ), Wasei Eigo?) có nghĩa là "tiếng Anh do người Nhật chế ra".

Trong tiếng Anh, Nhật Bản được gọi là Japan (/dʒəˈpæn/ (nghe)), từ này xuất hiện ở phương Tây vào đầu giai đoạn mậu dịch Nanban. Phát âm tên quốc gia này bằng Tiếng Quan Thoại cổ hoặc có thể là tiếng Ngô cổ đã được Marco Polo ghi lại là Cipangu. Trong tiếng Thượng Hải mới, một dạng phương ngữ tiếng Ngô, cách phát âm các ký tự 日本 'Nhật Bản' là Zeppen [zəʔpən]. Nhật Bản trong Tiếng Mã Lai cổ được gọi là Jepang, vay mượn từ tiếng địa phương ven biển miền nam Trung Quốc, có thể là tiếng Phúc Kiến hoặc Ninh Ba,[33] và từ Mã Lai này đã được các thương nhân Bồ Đào Nha sử dụng vào thời Malacca ở thế kỷ XVI. Đó là những người Bồ Đào Nha đầu tiên mang tên gọi này đến châu Âu.[34]